爬虫过程中遇到服务器返回500 Internal Server Error

该原因是因为爬取网页太过频繁，服务器将你的ip屏蔽掉了

在请求头加上 Referer 打开网页按F12，点击Network,随便点击一行，在Request Header里面会有Referer的信息 然后使用time库每爬取一个页面休息几秒钟 import time //此处的意思是停止5秒 time.sleep(5)

为了使爬虫更真实，我们还可以调用random库随机停止几秒 import random import time

//随机停止5到15秒 time.sleep(random.randint(5, 15))

还有一个方法就是使用多个代理去爬取信息，此处便不介绍了

完美解决此问题